What the Author Wrote, What the Agent Reads: Silent Cue Loss in Enterprise Document Ingestion
作者写了什么,Agent 读了什么:企业文档摄取中的静默线索丢失
🧭 企业文档摄取与格式线索保留
Amazon
企业文档摄取层丢失高亮和颜色等视觉格式线索,使 Agent 对关键义务识别 F1 骤降且自信犯错
📌 工作参考价值(4 点)
- 在 RAG/Agent 文档解析链路中优先保留高亮和颜色:实验显示 docling/plain text 格式盲摄取使义务识别 micro F1 从 0.690 降至 0.150/0.075,而高亮贡献 +0.302、颜色 +0.262;建议在 OOXML 解析阶段提取 highlight/color 属性并转为显式标记(如 <highlight>...</highlight> 或文字说明),而不是只输出纯文本。
- 不要过度依赖粗体、斜体等常见格式:本文中 bold/italic/monospace/strikethrough 对义务抽取增益均在 ±0.003 内,真正有效的是高亮和颜色;在合同、政策、促销规则等业务文档中应重新权衡格式线索的优先级。
- 把格式线索显式键入提示比仅隐式保留更强:预注册测试显示额外 +0.085 F1(p=0.049),可在 ingestion 层自动生成“原文中以下内容被高亮/着色,可能为关键义务”的上下文提示,代价低且可量化。
- 用 OOXML 属性做确定性 ground truth 匹配器,无需 LLM 裁判即可监控解析器对格式信息的保真度,适合持续集成评测,避免文档解析中静默退化。